针对遥感影像数据集的图像在形状、纹理和颜色上存在较大差别，以及因拍摄高度和角度不同存在的尺度差异导致遥感场景分类精度不高的问题，提出利用主动旋转聚合来融合不同尺度的特征，并通过双向门控提高底层特征与顶层特征互补性的特征融合补偿卷积神经网络（FAC-CNN）。该网络利用图像金字塔为原始图像生成不同尺度图像后将其输入到分支网络中来提取多尺度特征，并提出主动旋转聚合的方式来融合不同尺度的特征，使融合后的特征具有方向信息，从而提高模型对不同尺度输入以及不同旋转输入的泛化能力，实现模型分类精度的提升。FAC-CNN比基于VGGNet的注意循环卷积网络（ARCNet-VGGNet）和门控双向网络（GBNet）在西北工业大学遥感场景图像分类数据集（NWPU-RESISC）上准确率分别提升了2.05个百分点与2.69个百分点，在航空影像数据集（AID）上准确率分别提升了3.24个百分点与0.86个百分点。实验结果表明，FAC-CNN能有效解决遥感影像数据集存在的问题，提高遥感场景分类的精度。